pol.is スクレイピング
なぜやるのか
pol.isの自分の過去の投票データを取得して、いろいろやりたい
pol.isに公式APIは存在しない
調査結果
Cloudflareの強力なWAFだかbot managementだかが有効化されていて、スクレイピングの難易度が超高い
APIエンドポイントとデータ構造
自分が過去に回答したすべての投票（要認証）
https://pol.is/api/v3/conversations?include_all_conversations_i_am_in=true
特定の投票の質問一覧（認証不要）
https://pol.is/api/v3/comments?conversation_id=4mmh28rtvz&include_social=true&translate=true&lang=ja
データ構造
code:json
[
{
"txt": "質問の本文",
"tid": 0,
"created": "1685780772727",
"tweet_id": null,
"quote_src_url": null,
"is_seed": true,
"is_meta": false,
"lang": "ja",
"pid": 0
},
...
]
pidってなんだ？
自分が特定の投票の質問に回答した結果（要認証）
https://pol.is/api/v3/votes?conversation_id=4mmh28rtvz&pid=mypid
データ構造
code:json
[
{
"pid": 3,
"tid": 0,
"vote": 1,
"weight_x_32767": 0,
"modified": "1685781812476",
"conversation_id": "4mmh28rtvz"
},
...
]
pidってなんだ？なんで /comments のほうと値が違うんだ？
weight_x_32767ってなんだ？